HTML

• HTML (Hypertext Markup Language) é uma linguagem de marcação.

• Por trás de todo site há pelo menos um arquivo .html.

Tags, atributos e texto

• Tags (head, body, h1, p, …) demarcam as seções e sub-seções

• enquanto atributos (charset, style, …) mudam como essas seções são renderizadas pelo navegador.

Estrutura

O HTML do exemplo, na verdade, é isso aqui:

Usando o BeautifulSoup

• Exemplo: coletando todas as tags <p> (parágrafos)

# Ler o HTML
with open("img/html_exemplo.html") as f:
  html = BeautifulSoup(f)

# Imprimir o HTML
print(html.prettify())

<!DOCTYPE html>
<html>
 <head>
  <meta charset="utf-8"/>
  <title>
   Título da abinha do navegador
  </title>
 </head>
 <body>
  <h1>
   Título Grande
  </h1>
  <h2>
   Título um pouco menor
  </h2>
  <p>
   Sou um parágrafo!
  </p>
  <p style="color: blue;">
   Sou um parágrafo azul.
  </p>
 </body>
</html>

Usando o BeautifulSoup

• Exemplo: coletando todas as tags <p> (parágrafos)

# Extrair o texto contido em cada um dos nodes
html.find_all('p')

[<p>Sou um parágrafo!</p>, <p style="color: blue;">Sou um parágrafo azul.</p>]

Extraindo texto e atributos

# Extrair o texto contido em cada um dos nodes
html.p.text

'Sou um parágrafo!'

html.find_all('p')[0].text

'Sou um parágrafo!'

# Extrair os atributos
html.find_all('p')[0].attrs

{}

html.find_all('p')[1].attrs

{'style': 'color: blue;'}

Aplicação: Descobrindo o Código do Processo!

with open("cpopg.html") as f:
  html_cpopg = BeautifulSoup(f)

# tr with class='fundocinza1'
trs = html_cpopg.find_all('tr', {'class': 'fundocinza1'})

links = [tr.a for tr in trs]
codigos = [link.attrs['name'][0:13] for link in links]

Como você se sente quando aprende web scraping

Cuidados

• Risco de derrubar ou comprometer a estabilidade do site.

• Vale à pena conversar com a entidade detentora dos dados.

Política do web scraping

Quando usar

• Quando precisamos coletar um volume grande de dados da internet

Quando não usar

• Existem formas mais simples de obter os dados (API, base de dados, etc.)

• Os termos de uso do site não nos permitem fazer isso.

• As informações do site não são públicas.

Resumo

• Web scraping é uma técnica para coletar dados de sites.
• Existe um fluxo para fazer web scraping.
• Existem 4 tipos principais ‘níveis’ de dificuldade, sendo que o primeiro deles não é considerado web scraping.
• Existem várias ferramentas para fazer web scraping. Em python, as principais são requests, beautiful soup e selenium.
• É importante conhecer a política do site para fazer web scraping.

Curiosidade: como eu descobri essa API escondida?

Longa história, mas basicamente:

• instalei o aplicativo do TJSP no celular
• usei o aplicativo tPacketCapture para interceptar as requisições do aplicativo
• descobri que o aplicativo usa uma API escondida para buscar os processos
• descobri que a API escondida usa o mesmo código do processo que aparece na URL do site
• descobri que a API escondida retorna os dados do processo em formato JSON